Từ Ôn thoạt đầu không thể hiện được bản thân trong các chiến dịch, mặc dù Lưu Uy (劉威) và Đào Nhã (陶雅) chỉ huy "Tam thập lục anh hùng", độc Từ Ôn chưa từng có chiến công.[1] Năm 889, trong cuộc chiến tranh giành Hoài Nam[chú 3] giữa Dương Hành Mật và Tôn Nho, Dương Hành Mật chiếm được Tuyên châu[chú 4] sau một thời gian bao vây. Theo ghi chép, chư tướng đều tranh nhau vàng và lụa, độc có Từ Ôn chiếm cứ vựa thóc, nấu cháo rồi phát cho những người bị đói ở Tuyên châu.[5]

Năm 895, Hoài Nam tiết độ sứ Dương Hành Mật chiếm được Hào châu[chú 5], các binh sĩ bắt được một đứa trẻ 8 tuổi (âm), Dương Hành Mật thoạt đầu đem về nhà nuôi dưỡng như con. Tuy nhiên, trưởng tử của Dương Hành Mật là Dương Ác lại ghét đứa trẻ này, do vậy Dương Ác quyết định trao lại đứa bé cho Từ Ôn; Từ Ôn đặt tên cho đứa trẻ là Từ Tri Cáo[6] và giao đứa trẻ cho nhị phu nhân là Lý thị nuôi dưỡng.[7] Từ Tri Cáo được mô tả là cần hiếu, Từ Ôn yêu mến người con nuôi này.[6]

Năm 902, Dương Hành Mật lên kế hoạch tiến công Tuyên Vũ[chú 6] tiết độ sứ Chu Toàn Trung. Khi đó, hầu hết các tướng lại đều chủ trương dùng cự hạm để vận lương, song Từ Ôn phản đối và chỉ ra rằng các kênh đào bị ứ đọng trong một thời gian dài và cự hạm sẽ khó đi qua; và ông chủ trương dùng tiểu đĩnh để vận lương. Tuy nhiên, ý kiến của ông không được lắng nghe, và sau đó quả nhiên quân Hoài Nam bị cản trở do cự hạm chở lương thực lớn không tới được (trong khi các tiểu đĩnh thì đi qua được) và buộc phải triệt thoái, từ đó Dương Hành Mật xem trọng Từ Ôn và bắt đầu cho ông cùng nghị quân sự.[8]

Năm 903, Dương Hành Mật phải đối diện với cuộc nổi dậy của chư hầu là Ninh Quốc[chú 7] tiết độ sứ Điền Quân và Nhuận châu[chú 8] đoàn luyện sứ An Nhân Nghĩa (安仁義). Thoạt đầu, Dương Hành Mật khiển Vương Mậu Chương (王茂章) đem quân tiến công An Nhân Nghĩa, song Vương Mậu Chương không thể giành được thắng lợi. Dương Hành Mật lại khiển Từ Ôn đem binh đến tăng viện cho Vương Mậu Chương. Từ Ôn lệnh cho binh sĩ đổi y phục và kỳ xí giống như binh của Vương Mậu Chương. An Nhân Nghĩa không biết rằng quân tăng viện đã đến, vì thế không đề phòng, và bị Từ Ôn đánh bại. (Tuy nhiên, lúc này Nhuận châu vẫn chưa thất thủ.) Cũng trong năm đó, Dương Hành Mật nhận được tin rằng Chu Diên Thọ (朱延壽, đệ của Chu phu nhân) đồng ý tham gia nổi dậy cùng Điền Quân và An Nhân Nghĩa và dự định khởi sự tại Thọ châu[chú 9].[9] Nghe theo ý của khách Nghiêm Khả Cầu (嚴可求), Từ Ôn đề xuất với Dương Hành Mật giả bộ bị mù để bẫy Chu Diên Thọ,[1] thậm chí là cả Chu thị. Sau đó, Dương Hành Mật triệu Chu Diên Thọ trở về Dương châu, Dương Hành Mật và Từ Ôn phục kích giết chết Chu Diên Thọ.[9] Sau khi Chu Diên Thọ bị giết, Dương Hành Mật bổ nhiệm Từ Ôn là Hữu nha chỉ huy sứ.[1]

Năm 904, khi Tuyên châu quan sát sứ Đài Mông (台濛) qua đời, Dương Hành Mật cho Dương Ác đi làm chủ Tuyên châu, Từ Ôn nói với Dương Ác: "Vương nằm bệnh song đích tự lại bị đưa đi xa, vậy tất là mưu của gian thần. Nếu có ngày nhận được lệnh triệu hồi, nếu không phải là sứ giả của Ôn cùng với vương lệnh thư, chớ đừng về gấp". Dương Ác rớt nước mắt cảm tạ Từ Ôn rồi ra đi.[10]

Năm 905, khi bệnh tình nặng hơn, Dương Hành Mật triệu hồi Dương Ác từ Tuyên châu trở về Dương châu để giao phó lại Hoài Nam, tiết độ phán quan Chu Ẩn (周隱) phản đối vì cho rằng Dương Ác là một người kế nhiệm không phù hợp. Chu Ẩn đề xuất rằng Dương Hành Mật nên ủy thác lại Hoài Nam cho Lưu Uy (劉威), với chỉ thị rằng quyền lực sẽ được trao lại cho một trong số các nhi tử của Dương Hành Mật khi họ lớn lên, song Từ Ôn và Trương Hạo (張顥) thì cho rằng việc này là bất khả thi. Đến khi Dương Hạo lại bảo Chu Ẩn triệu kiến Dương Ác, Chu Ẩn soạn thảo lệnh song trì hoãn việc gửi đi. Tuy nhiên, Từ Ôn và Trương Hạo phát hiện ra và truyền lệnh đi. Dương Hành Mật cho Dương Ác giữ chức Hoài Nam lưu hậu, và không lâu sau thì hoăng. Theo thỉnh cầu của các tướng tá Hoài Nam, Lý Nghiễm (李儼) "thừa chế" bổ nhiệm Dương Ác kế nhiệm Dương Hành Mật.[10]